|
|
Segmentation of multiple sclerosis lesions using deep neural networks
Sasko, Dominik ; Myška, Vojtěch (oponent) ; Kolařík, Martin (vedoucí práce)
This master thesis focused on automatic segmentation of Multiple Sclerosis (MS) lesions on MRI images. We tested the latest methods of segmentation using Deep Neural Networks and compared the approaches of weight initialization by transfer learning and self-supervised learning. The automatic segmentation of MS lesions is a very challenging task, primarily due to the high imbalance of the dataset (brain scans usually contain only a small amount of damaged tissue). Another challenge is a manual annotation of these lesions, as two different doctors can mark other parts of the brain as damaged and the Dice Coefficient of these annotations is approximately 0.86, which further underlines the complexity of this task. The possibility of simplifying the annotation process by automatization could improve the lesion load determination and might lead to better diagnostic of each individual patient. Our goal was to propose two techniques that use transfer learning to pre-train weights to later improve the performance of existing segmentation models. The theoretical part describes the division of artificial intelligence, machine learning and deep neural networks and their use in image segmentation. Afterwards, the work provides a description of Multiple Sclerosis, its types, symptoms, diagnosis and treatment. The practical part begins with data preprocessing. Firstly, brain scans were adjusted to the same resolution with the same voxel size. This was needed due to the usage of three different datasets, in which the scans had been created by devices from different manufacturers. One dataset also included the skull, therefore it was necessary to remove it by an FSL tool, leaving only the patient's brain in the scan. The preprocessed data were 3D scans (FLAIR, T1 and T2 modalities), which were cut into individual 2D slices and used as an input for the neural network with encoder-decoder architecture. The whole dataset consisted a total of 6,720 slices with a resolution of 192 x 192 pixels for training (after removing slices where the mask was empty). Loss function was Combo loss (combination of Dice Loss with modified Cross-Entropy). The first technique was to use the pre-trained weights from the ImageNet dataset on encoder in U-Net network, with and without locked encoder weights, respectively, and compare the results with random weight initialization. In this case, we used only the FLAIR modality. Transfer learning has proven to increase the metrics from approximately 0.4 to 0.6. The difference between encoder with and without locked weights was about 0.02. The second proposed technique was to use a self-supervised context encoder with Generative Adversarial Networks (GAN) to pre-train the weights. This network used all three modalities also with the empty slices (23,040 slices in total). The purpose of GAN was to recreate the brain image, which was covered by a checkerboard. Weights learned during this training were later loaded for the encoder to apply to our segmentation problem. The following experiment did not show any improvement, with a DSC value of 0.29 and 0.09, with and without a locked encoder, respectively. Such a decrease in performance might have been caused by the use of weights pre-trained on two distant problems (segmentation and self-supervised context encoder) or by difficulty of the task considering the hugely unbalanced dataset.
|
|
|
End-to-End Speech Recognition for Low-Resource Languages
Sokolovskii, Vladislav ; Schwarz, Petr (oponent) ; Karafiát, Martin (vedoucí práce)
The automatic speech recognition area has started to adopt end-to-end neural network solutions for creating speech recognizers. However, the data hunger nature of these types of systems allows for the creation of recognizers only for high-resource languages, such as English, Chinese or Spanish. In low-resource scenarios, some solutions which alleviate the data scarcity problem have to be developed. One of the most effective techniques for this is fine-tuning a pre-trained model. The problem with the existing approaches of fine-tuning is that the token set of target and source languages does usually differ. That is why previous multi-lingual transfer learning approaches required the output layer to be changed, or mixed tokens from different languages in the output layer, or use universal token sets, or have separate output layers per language. This is undesirable because the sharing across languages in this case latent and not controllable in the output space when the language-specific graphemes are disjoint. Therefore this work proposes to map the tokens to the common set before the beginning of the pre-training. The existing solution was a transliteration of the source language to the target one, the novel approach is romanization where the token set of the target language is romanized to match the English alphabet. Subsequently, the diacritics from the romanized hypotheses can be restored using an additional restoration model. This has the advantage of increasing sharing in the output grapheme space.
|
|
|
Segmentace zubních objemových dat
Berezný, Matej ; Kodym, Oldřich (oponent) ; Čadík, Martin (vedoucí práce)
Hlavným cieľom tejto práce bola segmentácia objemových CT dát za použitia neurónových sietí. Ako vedľajší produkt bol vytvorený nový dataset spolu s silnými aj slabými anotáciami a nástroj pre automatický preprocessing dát. Takisto bola overená možnosť využitia transfer learningu a viacfázového trénovania. Z mnohých vykonaných testov možno vyvodiť záver, že aj tranfer learning aj viacfázové trénovanie mali pozitívny vplyv na vývoj dice skóre v porovnaní so základnou použitou metódou či už pri silných, alebo slabých anotáciách.
|
|
|
Interaktivní segmentace 3D CT dat s využitím hlubokého učení
Trávníčková, Kateřina ; Hradiš, Michal (oponent) ; Kodym, Oldřich (vedoucí práce)
Tato práce se zaměřuje na možnosti využití neuronových sítí pro segmentaci CT dat s omezenými možnostmi použití anotovaných dat. Hlavním prostředkem pro zlepšení kvality segmentace kostí pomocí modelu trénovaného na malé datové sadě je zde přidání uživatelské interakce. Dále jsou zkoumány možnosti využití transfer learningu v podobě předtrénování na interaktivní segmentaci na jiné než cílové datové sadě a v podobě předtrénování na restauraci dat pomocí cílové datové sady. Všechny zkoumané metody přinášejí určité zlepšení oproti baseline metodě, kterou je použití datově specifického automatického segmentačního modelu. Při trénování s velmi malými trénovacími množinami dochází ke zvýšení hodnoty Dice skóre až o desítky procent. Praktické uplatnění těchto metod může být například v jejich použití coby nástroje pro urychlení tvorby nového segmentačního datasetu.
|
|
|
Neuronový strojový překlad pro jazykové páry s malým množstvím trénovacích dat
Filo, Denis ; Fajčík, Martin (oponent) ; Jon, Josef (vedoucí práce)
Táto práca sa zaoberá neurónovým strojovým prekladom pre tzv. low-resource jazyky. Cieľom bolo pomocou experimentov vyhodnotiť súčasné techniky a navrhnúť ich vylepšenia. Prekladové systémy v tejto práci využívali architektúru neurónových sietí transformer a boli natrénované pomocou frameworku Marian. Vybranými jazykovými pármi pre experimenty boli slovenčina s chorvátčinou a slovenčina so srbčinou. V experimentoch boli predmetom skúmania techniky transfer learning a semi-supervised learning.
|
|
|
Posilované učení pro 3D hry
Beránek, Michal ; Herout, Adam (oponent) ; Hradiš, Michal (vedoucí práce)
Práce se zabývá učením neuronové sítě na jednoduchých úlohách v prostředí 3D střílečky Doom, zprostředkovaném výzkumnou platformou ViZDoom. Hlavním cílem je vytvoření agenta, který se učí na několika úlohách zároveň. Použitým algoritmem posilovaného učení je Rainbow, který kombinuje několik vylepšení algoritmu DQN. Pro učení na více úlohách jsem navrhnul a otestoval dvě různé architektury sítě. Jedna z nich byla úspěšná a po relativně krátké době trénování dokázal agent získat téměř 50 % z maximální možné odměny. Klíčovým prvkem úspěchu je Embedding vrstva pro parametrický popis prostředí jednotlivých úloh. Hlavním zjištěním je, že Rainbow je schopen učit se v 3D prostředí a s pomocí Embedding vrstvy i na více úlohách zároveň.
|
|
|
Detekce pohybujících se objektů ve videu s využitím neuronových sítí pomocí Android aplikace
Mikulec, Vojtěch ; Kiac, Martin (oponent) ; Myška, Vojtěch (vedoucí práce)
Tato diplomová práce se zabývá zrealizováním funkčního řešení problematiky klasifikace účastníků dopravního provozu pomocí mobilních zařízení s operačním systémem Android. Cílem je vytvořit Android aplikaci, která klasifikuje vozidla v reálném čase za použití zadní kamery a ukládá časové značky klasifikace. Testování probíhá převážně na vlastní, různě modifikované datové množině. Je natrénováno celkem pět modelů a změřeno zatížení hardwaru při použití každého z nich. Nejlepší přesnosti klasifikace dosahuje předtrénovaný model sítě MobileNet, který je dotrénován o 6 tříd – 62,33 %. Výsledky jsou shrnuty a v závěru je formulováno, jakým způsobem je možné rychleji a přesněji analyzovat dopravní data.
|
|
|
Analýza deforestace krajiny s využitím satelitních snímků
Javorka, Martin ; Španěl, Michal (oponent) ; Beran, Vítězslav (vedoucí práce)
Dnes je dolezite chranit lesne zdroje a sledovat odlesnovanie je nevyhnutne. Dialkove sni- manie Zeme ma v tomto monitorovacom usili dolezitu ulohu. Tato praca sa zaobera styrmi roznymi technikami zistovania odlesnovania zo satelitnych snimok - pomocou optickych aj radarovych dat. Su opisane specifika dat pri dialkovom snimani Zeme a geopriestorove analyzy. Analyticke techniky sa pouzivaju na zistovanie odlesnovania v studijnej oblasti Chocske vrchy. Segmentacia obrazu pomocou modelu neuronovej siete Unet sa pouziva na klasifikaciu vsetkych odlesnenych uzemi.
|
|
|
Sdílení zkušeností v posilovaném učení
Mojžíš, Radek ; Šůstek, Martin (oponent) ; Hradiš, Michal (vedoucí práce)
Cílem této práce je využít metod sdílení zkušeností při učení neuronových sítí na problém posilovaného učení. Jako testovací prostředí používám staré 2D konzolové hry, jako například space invaders nebo Phoenix. Testuji vliv přeučení již natrénovaných modelů na nová podobná prostředí. Dále zkouším metody pro přenášení rysů domén. Nakonec se zaměřuji na možnosti trénování modelu na několika prostředích simultánně. Z výsledků získáme přehled o možnostech sdílení zkušeností při trénování modelů pro algoritmy posilovaného učení.
|
|
|
Implementace algoritmu hlubokého učení na embedded platformě
Ondrášek, David ; Boštík, Ondřej (oponent) ; Horák, Karel (vedoucí práce)
Bakalářská práce se zabývá implementací inferenčního modelu, založeného na metodách hlubokého učení na embedded zařízení. V první části je provedena rešerše strojového a následně hlubokého učení a některých používaných state-of-the-art metod. V další části se práce zabývá výběrem nejlepšího vhodného hardware. Na konci kapitoly jsou podle výsledků vybrány pro implementaci Jetson Nano a Raspberry Pi. Dále je vytvořen vlastní dataset s třídami pro detekci bonbonů Maoam a na jeho základě potom vytrénován pomocí transfer learning inferenční model. Ten je potom použit při sestavení vlastní aplikace na detekci objektů, která je implementována na Jetson Nano a Raspberry Pi. Výsledky jsou vyhodnoceny a jsou naznačeny další možná budoucí vylepšení.
|
host ::
RSS.